排队系统出现在许多重要的现实生活应用中,包括通信网络,运输和制造系统。加固学习(RL)框架是排队控制问题的合适模型,在该问题中,基础动力通常未知,并且代理几乎没有从环境中接收到导航的信息。在这项工作中,我们将排队模型作为RL环境的优化方面进行了研究,并提供了有效学习最佳政策的见解。我们通过使用排队网络系统的固有属性来提出策略的新参数化。实验显示了我们的方法的良好性能,从轻度到繁忙的交通状况各种负载条件。
translated by 谷歌翻译
随机梯度下降(SGD)算法是许多机器学习任务中选择的方法,这要归功于其在处理大规模问题方面的可扩展性和效率。在本文中,我们专注于与主流实践启发式符合SGD的改组版。我们将收敛性与过度参数化设置下的一类非凸功率函数的全局解决方案展示为全局解决方案。与以前的文献相比,我们的分析采用更轻松的非凸假设。然而,我们保持了所需的计算复杂性,因为改组SGD在一般凸设置中已实现。
translated by 谷歌翻译
在本文中,我们提出了Nesterov加速改组梯度(NASG),这是一种用于凸有限和最小化问题的新算法。我们的方法将传统的Nesterov的加速动量与不同的改组抽样方案相结合。我们证明,我们的算法使用统一的改组方案提高了$ \ Mathcal {o}(1/t)$的速率,其中$ t $是时代的数量。该速率比凸状制度中的任何其他改组梯度方法要好。我们的收敛分析不需要对有限域或有界梯度条件的假设。对于随机洗牌方案,我们进一步改善了收敛性。在采用某种初始条件时,我们表明我们的方法在解决方案的小社区附近收敛得更快。数值模拟证明了我们算法的效率。
translated by 谷歌翻译
In the era of Internet of Things (IoT), network-wide anomaly detection is a crucial part of monitoring IoT networks due to the inherent security vulnerabilities of most IoT devices. Principal Components Analysis (PCA) has been proposed to separate network traffics into two disjoint subspaces corresponding to normal and malicious behaviors for anomaly detection. However, the privacy concerns and limitations of devices' computing resources compromise the practical effectiveness of PCA. We propose a federated PCA-based Grassmannian optimization framework that coordinates IoT devices to aggregate a joint profile of normal network behaviors for anomaly detection. First, we introduce a privacy-preserving federated PCA framework to simultaneously capture the profile of various IoT devices' traffic. Then, we investigate the alternating direction method of multipliers gradient-based learning on the Grassmann manifold to guarantee fast training and the absence of detecting latency using limited computational resources. Empirical results on the NSL-KDD dataset demonstrate that our method outperforms baseline approaches. Finally, we show that the Grassmann manifold algorithm is highly adapted for IoT anomaly detection, which permits drastically reducing the analysis time of the system. To the best of our knowledge, this is the first federated PCA algorithm for anomaly detection meeting the requirements of IoT networks.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
本文构成了新型的HyperGraph卷积神经网络基于聚类技术。该技术用于解决Citeseer数据集和CORA数据集的聚类问题。每个数据集都包含特征矩阵和HyperGraph的发射矩阵(即,由特征矩阵构造)。这种新颖的聚类方法利用了两个矩阵。最初,使用HyperGraph自动编码器将入射矩阵和特征矩阵从高维空间转换为低维空间。最后,我们将K-均值聚类技术应用于转换的矩阵。与其他经典聚类技术相比,基于Hypergraph卷积神经网络(CNN)的聚类技术在实验过程中的性能取得了更好的结果。
translated by 谷歌翻译
在这项工作中,我们建议使用分布式样本,即来自目标类别外部的未标记样本,以改善几乎没有记录的学习。具体而言,我们利用易于可用的分布样品来驱动分类器,以避免通过最大化原型到分布样品的距离,同时最大程度地减少分布样品的距离(即支持,查询数据),以避免使用分类器。。我们的方法易于实施,不可知论的是提取器,轻量级,而没有任何额外的预训练费用,并且适用于归纳和跨传输设置。对各种标准基准测试的广泛实验表明,所提出的方法始终提高具有不同架构的预审计网络的性能。
translated by 谷歌翻译
卷积神经网络(CNN)已在医学图像分割方面取得了有希望的结果。但是,CNN需要大量的培训数据,并且无法处理姿势和对象的变形。此外,它们的合并层倾向于丢弃重要信息,例如位置以及CNN对旋转和仿射转化敏感。胶囊网络是一种最新的新体系结构,通过用动态路由和卷积步伐替换池层来实现零件整体表示学习的更好的鲁棒性,这在流行任务(例如数字分类和对象细分)上显示了潜在的结果。在本文中,我们提出了一个带有卷积胶囊编码器(称为3DConvCaps)的3D编码器网络,以学习具有卷积层的低级特征(短距离注意),同时用胶囊建模更高级别的特征(远程依赖)层。我们在包括ISEG-2017,Hippocampus和Cardiac在内的多个数据集上进行的实验表明,我们的3D 3DConvcaps网络的表现非常优于先前的胶囊网络和3D-UNET。我们进一步进行了在卷积层和胶囊层的各种配置下在合同和扩展路径的各种配置下进行网络效率和分割性能的消融研究。
translated by 谷歌翻译
虽然磁共振成像(MRI)在婴儿脑分析中发挥了重要作用,但是将MRI分段为许多组织,例如灰质(GM),白质(WM)和脑脊液(CSF)是至关重要的,并且由于组织之间的极低强度对比度在6-9个月的年龄约6-9个月之间以及扩增的噪声,髓鞘,不完全体积。在本文中,我们通过开发一个名为Dam-al的新的深层学习模型来解决这些限制,其中包含两个主要贡献,即扩张注意机制和难以案例的注意力。我们的Dam-Al网络设计有跳过块层和焦点卷积。它在低级空间结构特征下,它在高级上下文特征和空间注意中包含通道。我们的注意力损失由与地区信息和硬样品对应的两个术语组成。我们拟议的Dam-Al已经在婴儿脑ISEG 2017数据集上进行了评估,并且在验证和测试集中进行了实验。我们在骰子系数和ASD指标上进行了基准测试了Dam-AL,并将其与最先进的方法进行了比较。
translated by 谷歌翻译
高级深度学习(DL)算法可以预测患者基于乳房成像报告和数据系统(BI-RAD)和密度标准的患者发育乳腺癌的风险。最近的研究表明,多视图分析的结合改善了整体乳房考试分类。在本文中,我们提出了一种新的多视图DL方法,用于乳房X线照片的Bi-RAD和密度评估。所提出的方法首先部署深度卷积网络,用于分别对每个视图进行特征提取。然后将提取的特征堆叠并馈入光梯度升压机(LightGBM)分类器中以预测Bi-RAD和密度分数。我们对内部乳房数据集和公共数据集数字数据库进行广泛的实验,用于筛选乳房X线摄影(DDSM)。实验结果表明,所提出的方法在两个基准数据集中突出了巨大的边距(内部数据集5%,DDSM数据集10%)优于两个基准分类方法。这些结果突出了组合多视图信息来改善乳腺癌风险预测性能的重要作用。
translated by 谷歌翻译